Prvním známým předkem pánů z Velhartic byl Bohuslav ze Vzdoun (12. stol.), který měl několik potomků. Z Herštejnské větve pocházel Bohumil z Budětic, který založil mezi lety 1290-1310 hrad Velhartice. Rod se brzy rozdělil na linii velhartickou, budějovickou a letovskou. Ve stavbě hradu pokračoval Bohumilův syn Bušek starší z Velhartic († 1337) a jeho vnuk Bušek mladší († 1371). Oba patřili k blízkým přátelům a rádcům moravského markraběte a později krále Karla IV. Bušek mladší byl mistrem královské komory, maršálkem královského dvora a nejvyšším hejtmanem léna Nové Čechy v Horní Falci. Jeho bratr Jan z Velhartic († 1394) zdědil panství Velhartice, Hrádek a Čečovice na Domažlicku, Velký Bor, Kolinec a Petrovice u Sušice. Měl však jen dvě dcery, proto jím velhartická větev vymřela po meči. Z velmi rozvětveného rodu pánů z Velhartic žila nejdéle větev z Nového Herštejna u Domažlic, která vymřela v 17. století.